尽管机器学习在视觉对象跟踪的任务上进行了广泛采用,但最近基于学习的方法在很大程度上忽略了一个事实,即视觉跟踪是其本质上的序列级任务。他们在很大程度上依赖框架级训练,这不可避免地会导致数据分布和任务目标的培训和测试之间的不一致。这项工作介绍了基于强化学习的视觉跟踪序列训练策略,并讨论了数据采样,学习目标和数据增强的序列级设计如何提高跟踪算法的准确性和稳健性。我们对包括LASOT,TrackingNet和GoT-10K在内的标准基准测试的实验表明,四个代表性跟踪模型,SiamRPN ++,Siamattn,Transt和TRDIMP,通过在不修改建筑架构的情况下将提出的方法纳入训练中,从而不断改进。
translated by 谷歌翻译
联合学习的一个关键挑战是客户之间的数据异质性和失衡,这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性,我们提出了一种新颖的建筑正则化技术,该技术通过在几个不同级别上接管本地和全球子网,在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化,并且适用于各种联合学习框架,而不会产生额外的沟通成本。与现有方法相比,我们进行了全面的经验研究,并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。
translated by 谷歌翻译
接收场的大小和形状决定了网络如何聚集本地信息并极大地影响模型的整体性能。神经网络中的许多组件,例如内核大小和用于卷积和汇总操作的大步,都会影响接受场的配置。但是,它们仍然依靠超参数,现有模型的接受场导致了次优的形状和尺寸。因此,我们提出了一个简单而有效的动态优化的合并操作,称为Dynopool,该操作通过学习每一层中其接受场的理想大小和形状来优化特征地图的比例因子。深层神经网络中的任何调整模块都可以用Dynopool的操作取代,而成本最低。此外,Dynopool通过引入限制计算成本的附加损失项来控制模型的复杂性。我们的实验表明,配备了拟议的可学习调整模块的模型优于图像分类和语义分割中多个数据集上的基线网络。
translated by 谷歌翻译
由于参与客户的异构特征,联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时,这种趋势加剧了,因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战,我们提出了一种新的联合学习框架,这提高了服务器端聚合步骤的稳定性,这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达,并且不需要将过去的模型存储在客户端中。我们还规范了本地更新,以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究,与最先进的方法相比,在准确性和通信效率方面表现出了拟议方法的显着性能,特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得
translated by 谷歌翻译
我们通过对杂散相关性的因果解释提出了一种信息 - 理论偏置测量技术,这通过利用条件相互信息来识别特征级算法偏压有效。尽管已经提出了几种偏置测量方法并广泛地研究以在各种任务中实现诸如面部识别的各种任务中的算法公平,但它们的准确性或基于Logit的度量易于导致普通预测得分调整而不是基本偏差减少。因此,我们设计针对算法偏差的新型扩张框架,其包括由所提出的信息 - 理论偏置测量方法导出的偏压正则化损耗。此外,我们介绍了一种基于随机标签噪声的简单而有效的无监督的脱叠技术,这不需要明确的偏置信息监督。通过多种标准基准测试的广泛实验,在不同的现实情景中验证了所提出的偏差测量和脱叠方法。
translated by 谷歌翻译
我们提出了一种基于神经隐式表示的少量新型视图综合信息 - 理论正规化技术。所提出的方法最小化由于在每个光线中强制密度的熵约束而发生的潜在的重建不一致。另外,当从几乎冗余的观点获取所有训练图像时,为了减轻潜在的退化问题,我们还通过限制来自一对略微不同观点的光线的信息增益来将空间平滑度约束纳入估计的图像。我们的算法的主要思想是使重建的场景沿各个光线紧凑,并在附近的光线上一致。所提出的常规方基于Nerf以直接的方式插入大部分现有的神经体积渲染技术。尽管其简单性,但是,与现有的神经观察合成方法通过大量标准基准测试的现有神经观察方法相比,我们实现了一致的性能。我们的项目网站可用于\ url {http://cvlab.snu.ac.kr/research/infonerf}。
translated by 谷歌翻译
深度神经网络易于学习具有纠缠特征表示的偏置模型,这可能导致各种下游任务的子模式。对于非代表性的类尤其如此,其中数据中缺乏多样性加剧了趋势。这种限制主要是在分类任务中解决的,但对可能出现在更复杂的密集预测问题中可能出现的额外挑战几乎没有研究,包括语义分割。为此,我们提出了一种用于语义细分的模型 - 不可知论和随机培训方案,这有助于了解脱叠和解除戒律的陈述。对于每个类,我们首先从高度纠缠的特征映射中提取特定的类信息。然后,通过特征空间中的特征选择过程抑制与随机采样类相关的信息。通过随机消除每个训练迭代中的某些类信息,我们有效地减少了类之间的特征依赖性,并且该模型能够了解更多的脱叠和解散的特征表示。使用我们的方法培训的模型展示了多个语义细分基准的强烈结果,特别是代表性课程的表现尤为显着。
translated by 谷歌翻译
我们提出了一种具有多个鉴别器的生成的对抗性网络,其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机,从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看,我们引导每个判别者在整个数据的子集中具有专业知识,并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器,但骨干网络在鉴别器中共享,并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。
translated by 谷歌翻译
视觉识别任务通常限于处理小型类的小型,因为剩余类别不可用。我们有兴趣通过基于标记和未标记的示例的表示学习来识别数据集中的新颖概念,并将识别的视野扩展到已知和新型类别。为了解决这一具有挑战性的任务,我们提出了一种组合学习方法,其自然地使用由异构标签空间上的多个监督元分类器给出的组成知识来委托未经组合的类别。组合嵌入给出的表示通过一致性正则化进行了更强大的。我们还介绍了公制学习策略,以估算成对伪标签,以改善未标记的例子的表示,其有效地保护了朝着所知和新型课程的语义关系。该算法通过联合优化提高了看不见的课程的歧视以及学习知名课程的表示,通过联合优化来发现新颖的概念,以便更广泛地提高到新颖的课程。我们广泛的实验通过多种图像检索和新型类发现基准中的提出方法表现出显着的性能。
translated by 谷歌翻译
We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.
translated by 谷歌翻译